HybridResearcher:弥合深度研究智能体的结构化与非结构化边界
🧭 Agent 跨源推理训练与数据合成
Seoul National University · University of California, Los Angeles · University of North Carolina at Chapel Hill · University of Houston · Snowflake AI Research
4B深度研究Agent经跨源桥接轨迹合成训练,在混合基准上超397B大模型8.3分且无灾难遗忘
📌 工作参考价值(4 点)
- 电商/广告分析型 Agent 常需同时查询内部数据库(订单、库存、用户行为)和外部网页(竞品价格、市场趋势、社媒评论),可借鉴本工作从单源种子任务(text-to-SQL 或 web search)出发构造跨源训练轨迹,让 4B 小模型掌握跨源工具调用与证据综合能力。
- 构造训练样本时引入严格 gate(验证单源不足以回答)能强制模型学习互补性而非走捷径,业务中自制跨源数据时可效仿该机制提升数据质量。
- 小模型经精心编排的跨源轨迹 + SFT+RL 可超越大模型且不遗忘单源能力,对成本敏感的线上 Agent 部署有直接参考:无需依赖大模型,领域内单源数据可 bootstrap 跨源推理。
- 评估时同时监测单源基准(如 BrowseComp)和跨源基准,确保增强能力不损伤原有单源检索或 SQL 能力,可作为模型迭代的常规检查项。
可控数据升格 + 联合 RL/在线蒸馏的长程多模态搜索智能体
🧭 多模态搜索 Agent 训练 ★ 深度解读
Peking University · HKUST(GZ) · Tsinghua University · The University of Hong Kong · Huawei Cloud BU
用可控问题升格与联合 RL/在线蒸馏,把易题变难、难轨迹变可学
📌 工作参考价值(4 点)
- 可复用的问题升格框架:Expand/Blur/Visualize 把已有简单 VQA 或搜索日志升级为长链、实体消歧、跨模态证据任务;电商场景可把“这是什么商品”改写成多跳品牌/历史/场景链,并要求买家秀或商品图反搜验证,提升训练数据难度。
- 难度与质量双筛选:先用直接答案探针过滤参数化捷径,再用专家 rollout 的 Pass@k 评估难度并分池;业务上可先易样本 SFT,再难样本 RL,减少奖励噪声和人工标注成本。
- RL 训练中加入行为惩罚与 token 级 OPD:只对失败或不完美轨迹启用在策略蒸馏,教师信号按 reward gap 加权,并指数衰减 λ;这比纯终局奖励更稳定,适合搜索/推荐 Agent 的 RLVR 训练。
- 监控行为经济性:训练后期 tool call 和 response length 下降但答案奖励不降,说明可先鼓励长程探索、后收紧效率;在线上 Agent 优化中可用同样指标做早停。
Data World:从零开始规模化合成数据环境
🧭 多智能体环境生成与数据代理训练
Nanjing University · Meituan · Zhongnan University of Economics and Law · Hunan University · Shanghai Jiao Tong University
多智能体引擎从显式机制合成数据环境和任务,产出训练数据并RL-zero训练数据代理,基准大幅提升
📌 工作参考价值(4 点)
- 数据合成范式可迁移到推荐 Agent 训练:先定义用户偏好机制或环境规则,再生成可观测行为序列(点击、购买),让 Agent 反推机制并产出策略。相比收集真实数据,这种方式规避隐私且天然携带 ground truth,适合构建 RL reward。
- 多智能体审计确保任务可解性:在生成模拟环境时,让独立角色检查目标是否可从观测文件恢复,避免生成无解或歧义任务。在电商场景中,可用一个智能体生成用户模拟,另一个验证推荐理由是否成立,减少无效标注。
- 用 rubric 同时作为评估和 RL 奖励:不必依赖人工轨迹蒸馏,结构化评分标准可直接作为 reward,降低标注成本。对于推荐系统的解释生成、策略优化等开放式任务,可设计类似 rubric 让模型在无监督数据上自我改进。
- 人类偏好筛选提升任务真实性:从大规模合成任务中筛选最接近真实业务问题的子集构建评测集,可借鉴到 query 推荐、商品文案生成等任务,快速构造高质量离线 benchmark。
面向长程终端智能体的可扩展数据合成引擎与 27B 模型
🧭 终端 Agent 长程数据合成与 SFT
University of Science and Technology of China · AMAP, Alibaba Group · Southern University of Science and Technology
TerminalHorizon 自动合成长程终端 Agent 数据,1.5K 环境 SFT Qwen3.5-27B 后在 12 个 benchmark 全面提升
📌 工作参考价值(4 点)
- 长程 Agent SFT 数据不能只靠环境自动补全,关键要保留“探索-试错-验证”证据链;在电商 Agent 场景(比价、选品、售后排查、广告账户优化)可借鉴“独立执行识别被省略的关键工作”,避免环境和工具过度简化导致模型只会调用工具、不会解决真实问题。
- 渐进式任务扩展:同一目标下不断加入依赖前序结果的新需求,可构造多阶段、有长期依赖的训练轨迹;适合推荐/广告 Agent 的“分析→策略→执行→复盘”流程,增强模型跨阶段一致性与反馈利用能力。
- 将环境重构证据显式纳入数据生产 pipeline,可自动化产出高质量 long-horizon trajectories,降低人工标注长程 Agent 数据成本;可结合内部 terminal/sandbox 工具做 RSI-style 自改进评估。
- 论文偏 terminal/coding agent,但 SFT 后通用推理提升的结论有迁移价值:可尝试用少量真实业务环境数据微调本地 LLM Agent,重点保留长期反馈与交付物迭代过程。
GraphForge:基于图锚定工作空间合成训练工作智能体
🧭 Agent 工作智能体训练数据合成
University of Science and Technology of China · Fudan University · Shanghai Innovation Institute · Shanghai AI Laboratory
用证据图从真实文件合成可验证的工作智能体训练数据,微调后多项基准显著提升
📌 工作参考价值(4 点)
- 可用真实业务文件(商品目录、投放报表、用户日志)构建工作区,并用证据图显式编码文件间关系,确保多步任务每个要求都能追溯到具体支撑文件,避免模型编造数据,适合生成电商运营、广告投放、搜索优化等 Agent 训练集。
- 任务 rubric 与原始文件/单元格锚定,使奖励信号或拒绝采样筛样具备可审计性,降低 reward hacking 和评估噪声,可迁移到 RLHF/DPO 等 Agent 优化流程。
- SFT 后增加 rejection fine-tuning:用自身 rollout 并通过 rubric 筛选高质量候选,无需新增人工标注即可进一步提升 Agent 效果,适合业务 Agent 的快速迭代。
- 初始 rollout 可执行性检查 + revision agent 修复不可行任务,能自动清洗可能失败/不可完成的训练样本,降低坏样本对模型的影响。
Iris:攀登搜索前沿
🧭 搜索 Agent 训练与评估方法 ★ 深度解读
AllSpark Team
通过网页超链接反向构造多跳搜索任务、双层轨迹过滤与SFT-RL迭代爬升,训练出开源同参数范围最强的搜索Agent
📌 工作参考价值(4 点)
- 数据合成:在电商/推荐的 QA、选品理由、query 改写数据中,把可搜索锚点(商品标题、类目名、品牌名)改写为描述性引用,消除字符串匹配捷径;再用双条件验证(闭卷答错 + 给知识子图答对)筛出真正需要多跳推理的样本。
- 轨迹过滤:对 LLM 生成的推荐解释/搜索对话轨迹,用滑动窗口 zlib 压缩比快速检测重复和循环;turn 级 judge 从数据中归纳失败模式 rubric,只 mask 最多 10% 差 turn,保留上下文、减少训练噪声。
- RL 工程:长会话训练可用 request-level partial rollout 中断并在下步从 committed prefix 恢复,配合 truncated importance sampling 纠正不同权重版本的 logprob 偏差;集群内部署 GenRM 与摘要器,避免外部 API 依赖。
- 评估/上线:将 context management 与策略能力分开报告,固定工具、上下文预算、judge,分别看无 CM 和有 CM 的结果;识别 CM 收益来自任务是否经常耗尽上下文,高成本重试只作为上限探索,不作为默认配置。
PersonaForge:真实多轮用户模拟与 Agent 训练评估
🧭 Agent 用户模拟 · 多轮交互训练 ★ 深度解读
Peking University · Xiaomi LLM-Core · The University of Hong Kong · Renmin University of China
构建 SOUL 驱动的真实多轮用户模拟器,从真实查询反向生成 6.3K 训练数据与 138 任务基准,显著提升 Agent 交互效率与任务完成率
📌 工作参考价值(4 点)
- 构建电商导购/客服 Agent 的多轮训练数据时,优先从真实搜索/会话日志的种子 query 出发,用 LLM 反向推断用户画像与 connected memory,而不是随机生成 persona;这样能保留隐藏意图,让模型学会逐步澄清需求。
- 用户模拟器的提示词可采用 SOUL 结构:身份段落 + 抽象行为参数(消息长度、正式度、emoji)+ connected memory 固化 session 事实;避免用具体 utterance 示例,防止多样性崩溃。这一设计可迁移到任何对话式推荐/客服的仿真用户。
- 在数据合成 pipeline 中预设三阶段质量控制:生成前检查 persona 一致性,运行时用消息长度阈值(如 1500 字符,真实用户 99.2% 以下)检测角色反转,后处理过滤退化模式;可有效降低合成数据污染。
- 评测多轮推荐/搜索 Agent 时,设计渐进信息披露和嵌入矛盾的任务,并按交互效率、工具适当性、任务完成、回复质量四维打分;论文表明这类数据训练后轮次减少约 20%、无效工具调用大幅下降,同时任务完成率提升,对线上体验直接有益。
MidTool:面向智能体工具使用的中期训练数据合成
🧭 Agent 工具使用 · 中期训练数据合成 ★ 深度解读
University of Washington · Snowflake · University of North Carolina at Chapel Hill
构建首个通用工具使用中期训练语料MidTool-Mix,显著提升4B/8B模型在函数调用、多步交互和MCP任务上的表现
📌 工作参考价值(4 点)
- 将工具文档、API schema、代码仓库等非结构化数据合成 agentic trajectories 用于 mid-training,可让模型提前学会参数 extraction 和 workflow composition;电商推荐 Agent 可借鉴此思路,针对商品搜索、订单、优惠券等内部 API 构建专属语料,减少对 post-training 的依赖。
- 两条合成分支分别针对 grounding(从文档/PDF生成 QA 和轨迹)和 execution(从真实 API/MCP 生成可执行轨迹),且必须组合才能全面收益;业务上可分别构建「文档问答+多轮调用轨迹」与「真实工具交互轨迹」两个数据管道,避免单一类型导致能力偏科。
- 数据配比约 42% web + 26% code + 23% PDF + 9% native agentic trajectories,其中 9% 的 native 轨迹对精确函数调用贡献最大;在构建内部工具使用语料时可参考此比例,优先保底 code/文档,但必须预留一部分真实可执行轨迹。
- 训练顺序上先 mid-training 再 SFT/RL 能显著提升多轮交互和 unseen tool 泛化,且 SFT 收敛更快;如果业务已有工具调用 SFT 数据,可先做一轮小规模 mid-training 初始化,再用原有 SFT 数据微调,投入产出比高。
DeepVoyager-VL:长程多模态循环视觉搜索框架
🧭 多模态Agent · 视觉增强搜索
PKU · HKUST(GZ) · NUDT · OUC · HITSZ
通过多模态事件图合成中间视觉依赖的推理数据,训练Agent主动获取视觉证据驱动多轮搜索。
📌 工作参考价值(4 点)
- 借鉴事件图驱动的数据合成范式,为电商搜索构建包含多轮视觉对比(如商品图、评价截图)的长链推理训练数据,训练具备中间视觉依赖推理能力的搜索Agent。
- 主动视觉获取与按需图像加载设计,可降低多模态搜索Agent在实际应用中的计算开销,适合淘宝等大型商品图像索引场景。
- 纯SFT微调(无需RL)即可显著提升多模态搜索能力,实现简单且稳定,适合业务快速迭代。
- 视觉在循环中的交互模式可迁移至电商导购:通过用户上传的图片逐步澄清需求,动态驱动下一轮检索或提问。
VideoChat3:全开源高效通用视频多模态大模型
🧭 高效通用视频多模态大模型
Nanjing University · Shanghai AI Laboratory · Nanyang Technological University · Peking University
提出膨胀3D ViT与自适应帧分辨率,结合三阶段合成数据,4B参数即超越更大模型,实现高效通用视频理解。
📌 工作参考价值(4 点)
- 视频特征提取效率:I3D-ViT 将 2D ViT 权重直接膨胀到 3D,无需重新训练时空融合模块,可直接迁移到商品视频表征、直播切片理解等场景,大幅降低训练成本。
- 流式处理设计:自适应帧分辨率(Adaptive Frame Resolution)根据视频动态调整抽帧策略,适合电商直播实时分析、监控流式视频中的行为事件,提升吞吐且保持精度。
- 多领域数据合成流水线:通过结构化提示合成多样视频问答对(通用、长视频、流式),可借鉴为推荐系统生成多模态训练数据,例如为商品视频生成属性描述、使用教程等指令微调数据,缓解标注稀缺。
- 全开放生态:模型权重、代码、数据全开源的策略,方便团队快速复现并适配垂直业务,降低自研视频理解模型的门槛,尤其适合需要定制化视觉问答或视频审核的电商场景。
DataClaw0:从原始多模态流中代理式剪裁数据的可学习精炼模型
🧭 代理式多模态数据精炼与合成
Xi'an Jiaotong University · University of Chinese Academy of Sciences · Shenzhen University of Advanced Technology · Tsinghua University
将数据处理从被动标注提升为可学习的代理式剪裁,用SFT+GRPO训练9B模型,生成高信息密度多模态数据以高效驱动下游任务。
📌 工作参考价值(4 点)
- 电商多模态数据清洗与增强:借鉴Factual Anchors思想,对商品视频、直播切片、详情页截图等原始流,先抽取确定性事实(如商品属性、价格、功能演示片段)作为锚点,再围绕锚点生成问答、描述、指令数据,可大幅提升推荐模型训练数据的信噪比与信息密度。
- Agent行为轨迹的结构化:在广告投放决策、智能客服等场景中,Agent的操作日志冗余且混杂。可训练小型精炼模型(类似DataClaw0),自动识别关键决策点、去重、补全因果链,将原始轨迹转化为高质量的推理训练样本,用于RLHF或post-training。
- 低成本迭代式数据精炼:两阶段合成流水线(事实锚提取+生成式语义合成)可离线运行,不依赖昂贵人工标注;工程上可将精炼模型作为数据pipeline的微型agent,对新入库的UGC内容持续精炼,构建动态更新的高质量数据池。
- 数据质量评估范式的迁移:直接用下游任务(如推荐召回、CTR预估)的post-training效果来反向验证数据精炼质量,将离线质量评估与在线业务指标对齐,避免仅靠人工抽查导致的数据偏差。
FORT-Searcher:合成抗捷径搜索任务以训练深度搜索智能体
🧭 深度搜索Agent训练数据合成 ★ 深度解读
Renmin University of China · KAUST · IQuest Research · Shanghai Jiao Tong University
提出抗捷径数据合成框架 FORT,通过控制证据共覆盖、单线索选择性等风险生成高难度搜索轨迹,仅用 SFT 训练即可在深度搜索基准上取得最优。
📌 工作参考价值(4 点)
- 捷径风险检查:在构造多步推理任务(如电商知识问答、商品溯源)时,应主动检查证据是否被同一条搜索结果覆盖、单条线索是否过于特化、表面文本是否泄露了中间关键实体,防止模型绕过搜索直接作答。
- 对抗验证与自动修复:利用强 Agent 对合成题目进行“试跑”,根据轨迹中的答案命中时间、先验绑定率等指标自动诊断并修复易走捷径的题目,可用于生成高质量 Agent 训练数据,类似方法在推荐解释生成查询中同样适用。
- 模糊化策略:问题表述时用范围、类别、元属性代替精确值,可迫使模型进行多跳检索,这一思路可迁移到生成式推荐中的语义 ID 构建或查询改写,强化模型的信息获取能力。
- 上下文重置机制:当 Agent 陷入低效搜索时,清空历史并重启可显著提升复杂任务的成功率(在 BrowseComp 上提升 16.3 点),可作为 Agent 推理系统中的兜底策略。
全自主代理系统按需构建多模态评测基准
🧭 Agent 系统自主构建评测基准 ★ 深度解读
The Chinese University of Hong Kong · The Chinese University of Hong Kong, Shenzhen · Shandong University · Huawei Technologies · Shenzhen Loop Area Institute
首个全自主代理系统,将评测基准构建从人力驱动转变为自动规划、执行与刷新的可定制化流程
📌 工作参考价值(4 点)
- 长周期任务的分层规划:Benchmark Planner(设计-接地-分配)与 Executor(样本规划-执行-校验)的解耦设计,直接适用于电商 Agent 中的多步推荐流程编排,例如将“生成个性化推荐理由”拆解为子任务并分配数据源与转换工具。
- 闭环质量保障机制:Verification 与配额补充(Verification-guided replenishment)可迁移到自动标注 pipeline,对生成式推荐的样本实施语义校验、格式合规检查,不合格样本回炉重造,保证产出质量。
- 用户意图到任务规格的自动转化:Design Agent 将模糊需求分解为结构化 subtask 的思路,可用于根据运营目标(如提升点击率)自动生成 A/B 测试的评估方案或推荐模型评测集。
- 低成本持续刷新能力:Benchmark Agent 的快速迭代特性(人类标注 5-6 min/样本 vs. Agent 0.2-0.3 min)提示,电商推荐中的离线评估集可以随模型升级和业务变化自动更新,维持区分度,避免饱和。
VideoSeeker: 原生代理工具调用驱动的实例级视频理解
🧭 视频理解 · 代理工具调用 · 强化学习
University of Science and Technology of China · Xiaohongshu Inc. · East China Normal University · Xi’an Jiaotong University
用视觉提示和原生工具调用实现实例级视频理解,平均提升13.7%,超越GPT-4o与Gemini-2.5-Pro。
📌 工作参考价值(4 点)
- 数据合成管线借鉴:四阶段自动化生成实例级视频数据的流程(空间/时间定位标注、工具调用轨迹),可用于构建商品视频细粒度识别、直播片段检索等场景的高质量训练数据。
- 原生工具调用训练范式:冷启动监督+GRPO强化学习内部化工具调用能力,可迁移至电商多模态Agent(如商品问答、视频导购),让模型自主决定何时调用时空定位工具。
- 视觉提示交互设计:以框、掩码等视觉提示替代纯文本描述,提升时空指代精度,适用于商品图像区域标注、视频高光剪辑等交互式应用。
- 反思机制与奖励设计:通过反思步骤和多维度奖励(定位精度、推理正确性)优化策略,可直接参考用于生成式推荐或对话Agent的RL微调,平衡探索与利用。
MeMo:将记忆建模为可插拔的专用模型
🧭 LLM ★ 深度解读
National University of Singapore · MIT · A*STAR · University of Tokyo · Liquid AI
一种模块化框架,通过训练小型记忆模型并采用结构化多轮查询协议,无需修改LLM即可融入新知识,同时捕获跨文档关系并抵抗检索噪声
FrontierSmith:规模化合成开放式编程问题
🧭 Training ★ 深度解读
UC Berkeley · UC San Diego · University of Washington · Stanford University · Princeton University
通过变异封闭式编程问题并使用思路分歧度量自动筛选,实现开放式编程问题的规模化合成与强化学习训练